JAWS-UG 横浜の宇宙一早い Recap で Amazon Bedrock knowledge base with an Amazon Kendra GenAI index について話してきた #jawsug #jawsugyokohama #AWSreInvent
2024.12.10こんにちは！AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。
拠点は札幌なのですが、ご縁があって JAWS-UG 横浜の運営をしています。
JAWS-UG 横浜の AWS re:Invent 2024 宇宙一早い Recap で Amazon Bedrock knowledge base with an Amazon Kendra GenAI index について話してきました。
Amazon Bedrock knowledge base with an Amazon Kendra GenAI index is 何？
今まで RAG を実装する選択肢として、 Amazon Bedrock Knowledge bases と Amazon Kendra のどちらを選べばいいのか？といったディスカッションがよくあったと思うのですが、とうとう合体しました。
正直この発表を聞いた時、びっくりしました。
カスタマイズ度
カスタマイズ度で言えば
- Amazon Bedrock knowledge base with Vector Database
- Amazon Bedrock knowledge base with an Amazon Kendra GenAI index
- Amazon Q Business
の順です。今回のアップデートは難しいチャンキングやエンべディング周りを意識せず RAG を作れる優れものです。
特徴
続いて特徴の紹介です。新しく Amazon Kendra GenAI Enterprise Edition index エディションが登場しました。
ハイブリッド検索（キーワードとベクトル）、セマンティック埋め込み、リランカーモデルなどの最新の情報検索技術を利用しているモリモリなマネージドサービスです。
Amazon Bedrock Knowledge bases や Amazon Q business とシームレスに統合可能できるため、従来の Kendra で行っていた、アプリケーション側で Kendra に Retrieve API し、回答を生成するロジックがひとつにまとめることができるようになりました。
また、 3 AZ で冗長化されているため従来の Enterprise エディションのように本番環境にも耐えうる機能となっています。
料金
「Kendra と言えば高い」がイメージに焼き付いている（そもそも Kendra は RAG が出てくる以前からあるサービスなので Kendra が悪いわけではない）と思いますが、今回のエディションは従来のものよりも価格感が抑えられたものになります。
Pricing examples としてミニマムの料金が書かれていますが、 ベクトルデータベースが OpenSearch Serverless と同じくらいの価格感で利用できるようです。
Amazon Bedrock knowledge bases 使いから見た視点
Amazon Bedrock knowledge bases 使いから見て従来のベクトルデータベースを利用するパターンとどのように異なるのかをご紹介しました。
ベクトルデータベース
ベクトルデータベース周りはフルマネージドで行ってくれる点が特徴です。
Amazon Bedrock Knowledge bases の場合、同期スケジュールを別の仕組みで実装する必要がありますが、 Kendra は自前で機能を持っている点も嬉しいですね。
データソース
Amazon Bedrock Knowledge bases の場合、S3 と Custom のみ一般提供していますが、Kendra の強みであるコネクターが増えたのはとても良いのではないでしょうか。
IngestKnowledgeBaseDocuments API に対しても、BatchPutDocument API が用意されていたりと抑えられています。
モデル
エンべディングやリランクのモデルは意識せず Kendra へ、回答生成のモデルは意識する形で Bedrock で提供されている Claude 等の聞きなじみのあるモデルが利用できると役割分担がしっかりしています。
また、最近出てきたストリーミング生成も問題なく利用可能です。
チャンキング
チャンキングは意識しなくて良いです。
もし、意識したい方は従来の Amazon Bedrock Knowledge bases のベクトルデータベースを使った方が良いと思います。
Custom Data Enrichment は利用できるため、メタデータの動的付与は可能です。
検索手法
検索手法はハイブリッド検索をサポートしています。OpenSearch Serverless の専売特許からついに選択肢が増えましたね。
Amazon Bedrock Agents や Amazon Bedrock Guardrails とも統合可能ですし、クエリ分解も可能で使い勝手は抜群です。
ただし、コンテンツに登録するドキュメントでは英語のみ対応と記載されているため、この部分の日本語対応が待ち遠しいですね。
アクセス権限、フィルタリング
Kendra で提供されていた Access Control は利用不可です。ただし、Amazon Bedrock Knowledge bases のメタデータフィルタリングは可能です。
通常のベクトルデータベースとは違う部分で Kendra 側で定めた回答の信頼度として x-amz-kendra-score-confidence キーが使えます。今後このキーが使えそうな予感がしました。
個人的な所感をつらつらと...
「生成 AI すごい！、RAG すごい！、どうやら Amazon Kendra 使えるぞ。」で Kendra が急に盛り上がった部分があったと個人的には思います。
利用用途が最適化されたエディションが登場したことで、少し無理のあった部分が緩和されてきたのではないかと思いました。
日本語対応すれば、RAG のファーストステップとして十分に活躍してくれるのではないかと個人的には思っています。
まとめ
以上、「JAWS-UG 横浜の AWS re:Invent 2024 宇宙一早い Recap で Amazon Bedrock knowledge base with an Amazon Kendra GenAI index について話してきた」でした。
2025 年の生成 AI はどうなるのかとても楽しみですね。
このブログがどなたかの参考になれば幸いです。
AWS 事業本部コンサルティング部のたかくに（@takakuni_）でした！
![[小ネタ] Amazon Bedrockナレッジベースを「既存のKendraインデックスを使って」作成してみた](https://images.ctfassets.net/ct0aopd36mqt/3aqf4zA8eWdIL3CoGscPpm/224083826f6e4dd7b971c4967b706ad8/reinvent-2024-try-jp.jpg)
